Asal-usul Saivisme sebagai sebuah agama telah hilang ditelan masa. Bukti penyembahan Shiva sememangnya wujud dalam teks-teks awal di India dan juga daripada penemuan arkeologi yang tertua.

Teks-teks Veda menyebut tentang Rudra. Dengan edaran masa, Rudra dikenalpasti sebagai Siva.

Pānini (sekitar 400 S.M.) menyebut bahawa Rudra juga dikenali sebagai Mridā, Bhava, dan Sarva (1, 49; 3, 53; 4,100).

Menurut Kalhana dalam Rājatarangani, Asoka (268-233 S.M.) melawat Kashmir dan membina sebuah kuil Siva yang dikenali sebagai Asokesvara (1, 105-107).

Kautilya pula menyarankan bahawa sebuah kuil Siva harus dibina dalam kawasan bandar (Artha Sāstra, Buku 2, Bab 4, ms.54 edisi Sāma Sāstri).

Dalam Mahābhāsya (sekitar 200 S.M.), Patanjali menyebut dengan spesifik mengenai penganut-penganut Siva (dikenali sebagai Siva-bhāgavata). (5,2,76). Teks ini juga menyebut tentang arca-arca Siva, Skanda, dan Visākhā yang dibuat dan dijual oleh orang-orang Maurya.

Kemungkinan besar, semasa Patanjali menulis Mahābhāsya ini, penyembahan Siva dalam rupa ‘linga’ masih belum bermula. Ini boleh dirumuskan daripada penemuan mohor gangsa daripada kurun pertama S.M. yang ditemui di tapak Sirkap (Taxila) oleh John Marshal. Mohor ini mempunyai muka Siva. Selain itu, lagenda 'Siva-raksita' ('dilindungi oleh Siva') dalam tulisan-tulisan Brahmi dan Kharosthi juga menyokong pendapat ini.[1]